初學Python想請問 讀取大檔案問題?
讀取文字檔案除了使用 open函式,還可以用什麼?
小弟嘗試使用 open函式 讀取大檔案程式會當掉。
是什麼樣的檔案?
不要一次讀全部進來
提供code?
檔案是dblp.xml檔案(http://dblp.uni-trier.de/xml/ ),大小有1GB以上,想要實作xml stream parser。
code: open(r'D:\dblp.xml').read())
我沒處理過XML的資料,不過我想python應該有很多xml的parser
http://pycoders-weekly-chinese.readthedocs.io/en/latest/issue6/processing-xml-in-python-with-element-tree.html
再者,如果你有很多這樣的資料的話,不如用用MonogoDB吧!